fr
Top des produits IA
每月不到10元,就可以无限制地访问最好的AIbase。立即成为会员
Accueil
Actualités IA
AI Quotidien
Guides de monétisation
Tutoriels IA
Navigation des outils IA
Bibliothèque de produits IA
fr
Top des produits IA
Recherchez la dynamique mondiale des produits IA
Recherchez des informations sur l'IA mondiale et découvrez de nouvelles opportunités d'IA
Actualités
Applications de produits
Études de monétisation
Tutoriels IA
Type :
Actualités
Applications de produits
Études de monétisation
Tutoriels IA
2024-08-09 16:26:57
.
AIbase
.
11.0k
Jusqu'à 5 fois plus rapide pour exécuter des grands modèles linguistiques sur smartphone ! Microsoft Asia Research publie une nouvelle technologie open source pour une expérience ultrarapide, même sur CPU
La technologie T-MAC (Table-Lookup-based MAC) vise à résoudre les problèmes de mémoire et de calcul liés au déploiement de grands modèles linguistiques (LLM) sur les appareils en périphérie. En quantifiant les poids du modèle en une représentation à faible nombre de bits, T-MAC utilise une table de recherche (LUT) pour remplacer les opérations de multiplication traditionnelles, améliorant ainsi considérablement l'efficacité de l'exécution sur CPU. Cette méthode réduit considérablement la mémoire nécessaire aux calculs, permettant ainsi l'exécution efficace de LLM à plusieurs milliards de paramètres sur des appareils aux ressources limitées, et permettant une mise à niveau intelligente. Comparé aux implémentations existantes, T-